Британский телеком-оператор BT начал тестирование технологий жидкостного охлаждения на своём оборудовании, в том числе коммутаторы Juniper, оснащённые СЖО Iceotope. Как сообщает DataCenter Dynamics, проверяется эффективность систем жидкостного охлаждения, предлагаемых и другими вендорами.

В первую очередь речь идёт о проверке модификации сетевого коммутатора Juniper QFX Series, специально доработанного для использования совместно с «прецизионным охлаждением» компании Iceotope. Утверждается, что технология позволила существенно снизить расход энергии. Ранее BT протестировала edge-сервер KUL RAN.

Это не единственная разработка, проходящая сегодня серию тестов. В BT заявили, что намерены внедрять те или иные технологии в зависимости от «контекста», а испытания помогут установить, при каком сценарии использования какая разработка эффективнее и энергоэкономичнее. В тестах принимают участие система погружного охлаждения Immersion4, водоблоки Nexalus, а также необычная СЖО Airsys с распылением жидкости на охлаждаемые элементы.

СЖО Immersion4 (Источник изображения: BT)

Проходящие проверки системы разных типов часто потребляют на 40–50 % меньше электричества, чем варианты с воздушным охлаждением, и способны отдавать избыточное тепло для обогрева. При этом новые системы обеспечивают большую энергетическую плотность, что позволяет экономить место и материалы, а отказ от циркуляции воздуха через оборудование даёт возможность и вовсе избежать попадания пыли, грязи и влажности в шкафы.

Для BT является критически важным вопросом экономии электричества — до 95 % расходов бизнеса на электроэнергию приходится именно на обеспечение работы сетей связи. В BT сообщают, что внедрение жидкостного охлаждения — лишь малая, но очень важная часть широкого круга задач по повышению эффективности бизнеса.

Компания CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ-проектами. Как сообщает DataCenter Dynamics, он комбинирует погружное охлаждение и другие технологии, благодаря чему можно добиться высокой плотности размещения ресурсов на стойку — до 300 кВт на стойку. Недавно Digital Realty предложила клиентам 70-кВт стойки.

По словам CyrusOne, проект Intelliscale способен поменять правила игры в индустрии ИИ-решений и является первым в своём роде — специально разработанным под нужды ИИ-приложений и сервисов. Мощности Intelliscale специально созданы для обслуживания высокопроизводительного аппаратного обеспечения. Задействованы прямое жидкостное охлаждение процессоров, встроенные в дверцы теплообменники и погружное охлаждение. При этом модульная структура и дизайн Intelliscale предусматривает нулевое потребление воды.

Источник изображения: CyrusOne

По данным CyrusOne, новые решения могут занимать всего четверть от площади сопоставимых классических ЦОД (в зависимости от решаемых задач). При этом сами здания могут быть как одно-, таки многоуровневыми. В некоторых случаях она позволяет модернизировать и уплотнить уже существующие ИИ-мощности. По словам CyrusOne, внедрение Intelliscale сегодня позволит обеспечить работу ресурсоёмкого оборудования в будущем, поскольку спрос на ИИ будет только увеличиваться. Технология позволит бизнесам выходить на рынок быстро и с меньшими затратами, чем с использованием классических ЦОД.

Хотя «вечные» перфторалкильные и полифторалкильные вещества (PFAS) широко используются в эффективных двухфазных системах погружного охлаждения ЦОД, они токсичны. Но, похоже, запрет на их использование в Евросоюзе откладывается. Как сообщает DataCenter Dynamics, ссылаясь на данные утечки одного из документов, запрет на использование PFAS в Евросоюзе, возможно, не будет реализован или же будут введены незначительные ограничения.

Хотя в рамках «Зелёной сделки» 2020 года Евросоюзе предложил запретить от 7 до 12 тыс. химикатов, включая PFAS, данные утечки свидетельствуют, что евробюрократы готовы пожертвовать планами под давлением представителей промышленности, настаивающих, что PFAS (и другие вещества) необходимы для технологий, обеспечивающих нулевой углеродный выброс. Ранее «сделка» предусматривала запрет PFAS, предположительно являющихся канцерогенами и влияющих на репродуктивную функцию человека.

Источник изображения: Huawei

Согласно документам, попавшим в руки журналистам, речь уже может идти о запрете не более половины перечня токсичных химикатов. Документ, попавший в руки к журналистам, датирован 13 января текущего года, а правила должны вступить в силу ещё до начала 2024. Ожидалось, что закон REACH разрешит использование попавших в перечень химических веществ, только в случае, если их использование будет «необходимым». Но теперь, судя по всему, политики поддались давлению бизнеса.

Расчёты показали, что запрет на химикаты позволит ежегодно экономить €11–31 млрд на лечении рака и ожирения, тогда как промышленности такой запрет обойдётся всего в €0,9–2,7 млрд. Тем не менее, приостановить введение ограничительных норм призвал президент Франции Эммануэль Макрон (Emmanuel Macron), ссылаясь на необходимость помощи промышленному сектору. Его поддерживают и другие политики, негативно оценивающие стоимость введения новых правил для бизнеса.

PFAS применяются не только в СЖО, но и в других отраслях — например, при выпуске полупроводников. Ранее появилась информация, что регулирование оборота PFAS и окончательный отказ 3M от их выпуска могут со временем значительно повлиять на будущее погружных СЖО — несмотря на их эффективность, со временем от них могут отказаться даже гиперскейлеры, чтобы не терпеть репутационного ущерба.

Погружные (иммерсионные) системы жидкостного охлаждения имеют целый ряд преимуществ перед классическими СЖО. В частности, они существенно проще по конструкции, однако и тут есть, что совершенствовать. Компания Intel опубликовала информацию о новых, высокоэффективных теплосъёмниках. Разработанные Intel материалы и конструкции позволят остудить чипы с TDP в районе 2 КВт.

Для этого предлагается использовать теплоноситель, чья температура кипения соответствует рабочему диапазону температур охлаждаемых чипов. Кипение — важная часть процесса теплопереноса в погружных СЖО. Поэтому компания разработала специальное покрытие, ускоряющее рост пузырьков и делающее процесс кипения более интенсивным. Принцип, заложенный в основу, несколько напоминает известное явление с конфетами Mentos, вызывающими бурное выделение газа из прохладительных напитков.

Прототип покрытия, разработанного Intel, показывает первые результаты. Источник здесь и далее: Intel

Ешё одна инновация — специфическая конструкция теплообменников. Обычно производители погружных СЖО используют плоские пластины, но Intel подсмотрела у морских кораллов оптимальную форму, при которой площадь для теплоотдачи в системах нового типа должна существенно возрасти. Компания надеется повысить эффективность погружных СЖО с 0,025°C/Вт до 0,010°C/Вт.

Процесс парообразования с обычным покрытием (слева) и с разработанным Intel. Разница в количестве пузырьков налицо

На развитие этой технологии Intel получила грант $1,7 млн в рамках программы COOLERCHIPS (Cooling Operations Optimized for Leaps in Energy, Reliability, and Carbon Hyperefficiency for Information Processing Systems) Министерства Энергетики США (US Department of Energy). Ранее $5-млн грант получила и NVIDIA, перед которой поставлена цель совместить системы прямого теплоотвода (direct-to-chip) с погружными в габаритах стандартной серверной стойки. Ещё $1 млн получил стартап JetCool. Также в программе участвуют HP, Raytheon и ряд университетов.

Компания OVHcloud, европейский поставщик облачных услуг, по сообщению ресурса Datacenter Dynamics, обнародовала результаты исследования, говорящие о высокой эффективности технологии гибридного жидкостного охлаждения для серверного оборудования.

Система, о которой идёт речь, предусматривает совмещение двух типов СЖО. В частности, на CPU и GPU монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещается в резервуар с диэлектрической жидкостью.

Источник изображения: OVHcloud

Исследование показало, что такой комбинированный подход даёт возможность снизить энергопотребление дата-центра приблизительно на 20 % по сравнению с использованием исключительного водяного охлаждения. В оценке возможностей гибридной СЖО приняли участие специалисты Реймсского университета Шампань — Арденны (Франция).

Группа протестировала различные охлаждающие жидкости и пришла к выводу, что составы с низкой вязкостью обеспечивают более эффективный отвод тепла при использовании в резервуарах иммерсионных систем. В частности, при повышении вязкости примерно в два раза — с 4,6 до 9,8 мПа·с — эффективность охлаждения снизилась на 6 %.

Установлено также, что гибридная СЖО позволяет сократить энергопотребление в расчёте на сервер на 7 % в год по сравнению с обычными жидкостными системами и на 20 % по сравнению с воздушным охлаждением. При этом затрачивается от 50 до 100 мл воды в час на каждый Ватт мощности сервера.

Компания LiquidStack, специализирующаяся на разработке систем погружного жидкостного охлаждения, сообщила о получении инвестиций от Trane Technologies. Привлечённые средства, как отмечается, помогут в продвижении решений LiquidStack, что позволит значительно сократить углеродный след дата-центров, уменьшить потребление воды и снизить общее негативное воздействие на окружающую среду.

LiquidStack является одним из пионеров на рынке двухфазных иммерсионных СЖО. Компания заявляет, что её продукты дают возможность понизить энергопотребление на 40 % по сравнению с воздушным охлаждением, сократить капитальные затраты на 33 %, уменьшить совокупную стоимость владения на 32 % и обеспечить экономию свободных площадей в ЦОД до 69 %.

Источник изображения: LiquidStack

О размере инвестиций со стороны Trane Technologies ничего не сообщается. Но отмечается, что деньги будут направлены прежде всего на расширение производства, включая открытие предприятия в США. В состав этого объекта войдут научно-исследовательские лаборатории, испытательная площадка и центр обучения специалистов по обслуживанию. Полученные деньги также будут направлены на разработку передовых диэлектрических жидкостей, маркетинг и расширение каналов сбыта.

Предполагается, что данные инициативы повысят спрос на решения LiquidStack среди гиперскейлеров, операторов облачных платформ, площадок колокации и создателей систем периферийных вычислений. При этом клиенты Trane и LiquidStack будут иметь доступ к более широкому спектру комплексных решений для организации эффективного охлаждения ЦОД.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания Castrol, производитель моторных масел и смазочных материалов, по сообщению The Register, объединила усилия с Государственным научно-исследовательским институтом Швеции (RISE) для разработки диэлектрических жидкостей нового поколения. Предполагается, что жидкости нового типа будут применяться в системах иммерсионного (погружного) охлаждения для дата-центров.

Castrol, принадлежащая группе BP, активно развивает соответствующее направление. Так, ранее компания объединила усилия с фирмой Submer для создания иммерсионных СЖО, а позднее сообщила о формировании специализированной площадки для разработки и тестирования подобных решений. Shell, ещё одна нефтегазовая компания, уже сотрудничает с другим производителем погружных СЖО, компанией Asperitas.

Источник изображения: Submer

Партнёрство с RISE, как ожидается, позволит ускорить разработку новых диэлектрических жидкостей. Castrol планирует привлечь к исследованиям шведских специалистов в области материаловедения. Кроме того, компания получит доступ к передовому оборудованию и испытательным стендам, которыми располагает RISE. Стороны также намерены сообща развивать решения для «задач, связанных с разработкой вычислительных систем следующего поколения».

«Погружное охлаждение — это быстро развивающаяся область, интерес к которой вызван глобальной потребностью в оптимизации эффективности и энергопотребления самых мощных в мире дата-центров», — отметила вице-президент BP по передовым смазочным материалам Ребекка Йейтс (Rebecca Yates).

Отметим, что осенью 2022 года инновационную жидкость для иммерсионных СЖО представила американская продовольственная компания Cargill: NatureCool 2000 на 90 % состоит из растительных масел. Кроме того, новинка является биоразлагаемой.

Компания CryptoBlox Technologies, которая является одним из участников «зелёных» инициатив в области майнинга,приобретает CryptoTherm, специализирующуюся на жидкостных системах охлаждения. Как сообщает DataCenter Dynamics, это должно укрепить позиции компании на рынке добычи криптовалют — CryptoTherm разрабатывает контейнерные ЦОД с погружным охлаждением. Ранее аналогичный шаг сделала Crusoe, поглотившая собственного подрядчика по производству модульных ЦОД Easter-Owens.

Сделка предусматривает выпуск 400 млн акций CryptoTherm общей стоимостью $20 млн, которые полностью перейдут покупателю. Технологии CryptoTherm придутся весьма кстати для CryptoBlox, поскольку компания расширяет подразделение, занимающееся блокчейн-проектами. Дополнительно она намерена развивать и купленный бизнес. Для этого будут выделены ресурсы для расширения парка решений CryptoTherm, связанных с погружным охлаждением, ASIC-майнерами, теплоносителями и т.д.

Источник: CryptoTherm

По данным DataCenter Dynamics, компания занимается реализацией проекта на одном из нефтеносных полей в Альберте (Канада). Проект будет получать энергию за счёт использования попутного природного газа, обычно попросту сжигаемого в факелах при добыче нефти. Планируемая мощность ЦОД составит 3,5–5 МВт, со временем планируется увеличить её до 10 МВт. Подобные проекты получают всё большее распространение. Например, летом появилась информация о том, что ОАЭ и Оман намерены закупить малые ЦОД, работающие на попутном природном газе.

Разработчик СЖО GRC (Green Revolution Cooling) сообщил о том, что компания Shell Lubricants (Shell) присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем иммерсионного (погружного) охлаждения. Инициатива GRC предусматривает возможность использования диэлектрических жидкостей разного типа для СЖО в дата-центрах. Такие жидкости должны соответствовать определённым требованиям в плане экологичности, эффективности и безопасности. При этом отстуствие унификации и потверждения совместимости усложняет массовое внедрение таких решений в ЦОД.

Источник изображения: GRC

Отмечается, что сейчас системы иммерсионного охлаждения занимают небольшую нишу в сегменте ЦОД, но становятся всё более распространёнными в связи с развитием новых платформ, которым требуются большие вычислительные ресурсы. Ассортимент GRC ElectroSafe включает в себя широкий спектр высокоэффективных и безопасных для окружающей среды синтетических охлаждающих жидкостей, прошедших тщательные испытания. При этом партнёрская программа предоставляет платформу для совместной работы по повышению эффективности однофазных охлаждающих жидкостей.

Жидкости Shell основаны на запатентованной технологии «газ-жидкость» (GTL). Исследования показали, что они предотвращают появление коррозии, а также обеспечивают улучшенную совместимость материалов и компонентов и более высокие диэлектрические показатели по сравнению с другими коммерчески доступными жидкостями. Кроме того, говорится о высокой точке кипения.

«Shell рада стать участником партнёрской программы GRC ElectroSafe. Поскольку однофазное иммерсионное охлаждение предлагает преимущества в плане производительности и стоимости, мы считаем, что сочетание передовых систем охлаждения GRC с разработками Shell обеспечит отличное решение для ЦОД по всему миру», — заявляет компания.